Chu Đình Nghiêm trưởng thành từ lò đạo tạo của đội bóng đá Công an Thanh Hóa ở giải bóng đá các đội mạnh toàn quốc. Năm 1994 đội bóng xứ Thanh giải thể, ông theo chân Nguyễn Văn Sỹ, Nguyễn Văn Dũng chuyển ra thi đấu cho đội bóng đá Nam Định. Sau khi cùng đội bóng Nam Định thi đấu ở mùa giải V-League đầu tiên, ông chuyển sang thi đấu cho LG.ACB ở giải hạng nhất từ năm 2001. Năm 2003 việc LG.ACB sắp nhập với đội bóng đá chuyên nghiệp Hàng không Việt Nam, một số cầu thủ của LG.ACB chuyển lên chơi bóng chuyên nghiệp trong màu áo mới LG Hà Nội ACB thì Chu Đình Nghiêm cùng những cầu thủ hạng nhất còn lại được gom thành đội bóng mang tên mới Hòa Phát Hà Nội tiếp tục chơi ở giải bóng đá hạng nhất quốc gia. Đầu năm 2005 ông chia tay sự nghiệp cầu thủ bóng đá.

Đội bóng đá Hà Nội T&T được thành lập từ tháng 1 năm 2006 bắt đầu từ đá từ giải phong trào.[2] Chu Đình Nghiêm chính thức tham gia công tác huấn luyện tại Hà Nội T&T cùng Triệu Quang Hà ngày từ khi đội bóng bắt đầu hoạt động.[3] Sáng ngày 17 tháng 3 năm 2016, ban lãnh đạo đội bóng đá Hà Nội T&T quyết định cách chức huấn luyên viên trưởng Phạm Minh Đức, qua đó bổ nhiệm ông Chu Đình Nghiêm lên thay vị trí huấn luyện viên trưởng, quyết định có hiệu lực rộng rãi từ ngày 21 tháng 3 năm 2016.[4]